Dưới áp lực của Bộ chính trị Liên Xô, Mátyás từ chức Tổng bí thư vào tháng 6 năm 1956, ít lâu sau khi Nikita Sergeyevich Khrushchyov đọc bài báo cáo "Về sùng bái cá nhân và những hậu quả của nó". Ngày 21 tháng 7 năm 1956 đưa Gerő Ernő thay thế Mátyás. Tới lượt Gerő Ernő đưa Nagy Imre trở lại lãnh đạo chính phủ.[28] Sau đó Bộ chính trị Liên Xô đưa ông sang Liên bang Xô viết vào năm 1956 (ngay sau cuộc nổi dậy 1956),[29] với lý do chính thức là ông "cần được dưỡng bệnh." Trong quãng đời còn lại, ông sinh sống tại Cộng hoà Xã hội Chủ nghĩa Xô viết Kirgiz. Ít lâu trước mất, năm 1970, chính phủ Hungary yêu cầu Mátyás trở về Hungary nhưng không được tham gia vào bất cứ một hoạt động chính trị nào. Ông đã không làm theo yêu cầu này, và vẫn sống tại Liên Xô cho tới khi qua đời tại thành phố Gorky năm 1971. Sinh thời, ông đã kết hôn với Theodora Fedorovna Kornilova.

Sau khi qua đời, tro hoả táng Rákosi Mátyás được bí mật đem về nước Cộng hòa Nhân dân Hungary và an táng tại Nghĩa trang Farkasrét ở thủ đô Budapest.